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SELESES T^^^T^ im, r u '' ,oc ' a> ''' rc '' m '''^"'"'- 

c*u* ei arcnuecture de systeme pour la rnise en oeuvre du procede 



(57) L'invention concerne un procede d'affectation 
de taches dans un systeme de traitement de donnees 
numeriques muftiprocesseur a systeme Sexploitation 
preemptif et une architecture pour la mise en oeuvre de 
ce procede. Le systeme comprenant des processeurs 
(200-203 et 210-21 3) susceptibles de traiter les taches 
en parallele repartis en groupes (200-201, 202-203) 
Une file d'attente elemental (5 a , 5 b ) est associee a' 
chacun des groupes de processeurs (200-201 
202-203) et enregistre des taches a executer Toutes les 
taches a executer (7, a 7 10 ) sont enregistrees dans une 
table (4). Chacune des taches (T, a 7 10 ) de la table (4) 
est associee a Tune des files d'attente (5 a , 5 6 ) et chacu- 
ne des taches enregistrees dans les files d'attente (5 , 
5 b ) est associee a Tun des processeurs (200 a 201) Les 
associations sont effectuees par des jeux de pointeurs 
croises (p 200 a p 203 , PP 5 a> pp 5iy pT„ pT s , pT w , p 5al a 
fta* P551 k Psbiol D ^s un mode de realisation sup- 
plemental, selon plusieurs variantes, on procede a un 
(re-)equlibrage de la charge du systeme entre files d'at- 
tente elementaires. 
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cesseurs d I'une des files d'attente elementaires. 

[0015] Cette disposition permet notamment de limiter ie nombre de processeurs accedant aux verrous et done de 
hmrter le phenomene de contention. 

[001 6] Cependant. ('experience montre que, lorsque le nombre de taches et le nombre de processeurs augmentent 
la disposition precitee ne permet plus d'ameliorer les performances du systeme. 
[001 7] Ceci est du a plusieurs phenomenes et notamment aux suivants ■ 

EX? » DanS » Ur ) SyS ! 6me i ' ax P'° itation moderne existent deux types de taches : les taches a priorite variable et les 
taches a priorite fixe Les taches du premier type sont des taches dont la priorite varie en fonction du temps de pro- 
cesseur consomme (la polrtique d'ordonnancement est definie par le systeme d'exploitation lui-meme) Les taches du 
second type sont des taches dont la politique d'ordonnancement est fixee tors de la definition de la tache par le oro- 

..grammeur. _. _ ._ - - • - K -- ^- 

[001 9] En premier lieu, la gestion des taches de priorite fixe dans un systeme comportant plusieurs files d'attente 
se on une premiere caracteristique du premier mode de (Invention, peut devenir complexe. car il est necessaire d'eviter 
qu une premiere tache de priorite plus elevee soil executee apres une seconds tache de priorite moins elevee Cette 
gestion severe en effet difficile, et surtout couteuse en temps, lorsque les deux taches precitees sont dans deux files 
d attente detinctes. On conceit aisement que cette difficulty augmente rapidement avec le nombre de taches qui se 
repamssent dans un grand nombre de files d'attente. 

[0020] Le probleme subsiste pour des taches de priorite variable, mais la difficult* de mise en oeuvre est moindre 
20 If SySt6m ! d .' exp ! oi,a,ion lui - meme W »e les priorites, et il peut se permettre de violer ses propres regies 

[0021] En second l.eu le traitemen. des taches peut devenir desequilibre. Les taches slant, a priori, de nafures 
heterogenes. le temps necessaire au traitement de celles-ci peut varier dans de fortes proportions d'une tache a I'autre 
M s ensurt que un ou plusieurs processeurs, ou groupes de processeurs, peuvent se trouver en sous^harge voire 
devenir inactifs, faute de taches a trailer (les files d'attente associees s'etant videes), alors qu'un ou plusieurs autres 
processeurs, ou groupes de processeurs, continuent de trailer des taches (voire etre surcharges) et qu'il reste des 
aches a executor dans les files d'attente associees a ceux-ci. Aussi, dans un second mode de realisation prefere de 
I invention, tout en conservant les dispositions propres au premier mode de realisation (partition des files d'attente) 
on procede a un reequilibrage du traitement des taches, selon plusieurs variantes 

[0022] Selon une premiere variante, le reequilibrage comprend une repartition optimisee des taches entre les diffe- 
rentes f.les d attente du systeme. Le mode de repartition tient compte de differents parametres qui seront precises 
dans ce qu, su.t. La repartition peut etre effec.uee. soit lors de la creation de la tache, soit lore de I'association realisee 
entre la tache et un fichier contenant le programme a executer. 

[0023] A litre rf example dans un environnement de type "UNIX" precite, cette association est realisee par une ins- 
truction de type : exec() . Cette seconde option est preferable lorsque le systeme multiprocesseur est du type "NUMA' 

35 [0024] Cette disposition ameliore les performances du systeme, y compris lorsque le nombre de taches a trailer est 
res eleve. Cependant, la courbe representant les performances presente des oscillations, qui traduisent des instabi- 
Irtes. notamment lorsque le nombre de taches devient eleve. En outre, il est encore possible d'ameliorer les perfor- 
mances. K 

[0025] Selon une deuxieme variante de realisation du second mode, lorsque la file d'attente associee a un proces- 
sor, ou a un groupe de processeurs, devient vide et que le processeur ou au moins I'un des processeurs n'a plus de 
tache en cours de trartement, le processeur recherche dans les autres files d'attente s'il existe des taches en attente 
de traitement. S. cette recherche est positive, dans un mode prefere, le processeur recherche ce qu'on pourra appeler 
a meiHeure tache a traffer", s'il existe plusieurs laches en attente. Le mode de recherche et de selection de cette 
tache sera precise dans ce qui suit. 

45 fS», °? doi, t bien ( f om P ren f e que dans ces deux variantes, .'affectation des differentes taches aux differentes 

nZvf^ t h C T 6 ^^^"^^P^'^^^^^emevariantespreciteesestparticulierementefficace 
pour I amelioration des performances du systeme tant que de nouvelles taches se creent en permanence Par contre 
lorsque eel elal cesse, par exemple en fin de travail du systeme on peut etre amene a constater de nouveau des 
desequihbres de charge. 

so [0027] Aussi, invention peut comprendre une troisieme variante de realisation, dans laquelle on reaffecte des taches 
entre differentes files d'attente, de fa 5 on periodique par exemple. 

[0028] Cette disposition n'a generalement que peu d'effet en regime normal (creation continue de taches) sur les 
performances d un systeme multiprocesseur symetrique, e'est-a-dire du type °SMP" precite. Elle peut cependant seve- 
rer utile pour un systeme de type "NUMA* precite. 

55 n°°m 91 L ' inVen | ! i ° n 3 d ° nC p0Ur ob ' et un P roc6d6 d'affectation de taches dans un systems de traitement de donnees 
numenques multiprocesseur, a systeme d'exploitation preemptif, comprenant un nombre determine de processeurs 

ZnZ P nl eS ,? ,SCheS Sn Para,felS - caract « ris6 en ce qu'il comprend au moins une phase preliminaire 

pendant laque.le lesdits processeurs sont repartis en groupes. cheque groupe comprenant des nombres predetermines 
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S„ "i™A" nl ! ma . dlt ^ Verr ° U " 6St UtHis6 danS Un C6rtain nombre de circonstances. pour eviter un acces 
concurrent a une tfche. at notamment lorsqu'une tache est ajoutee ou retiree de .a tile d'attente 5. ou .or^e.le change 

[0042] La figure 2 illustre schematiquement un exemple d'architecture de ce type. Le systeme 1 comprend comma 
ZfZZ^I*""^?™* dependant, ces processeurs ont ete rassembles en g7ou P e ^eZceTsZs 
Z^JZn^Tj^u'i 6 ' Ch8 ' Ue 9f0UPe ' G °* G ' p6Ut —P-^'un nombretfen ique 2 
p^eLe^s S) et 2 1 le S fa re d exem P ,e - ° n a s "PP°*e arbitrairement que le groupe G a comprenatt deux 
n»OT En S Jl" 9 P 61 1 ° ,S P rocesseurs - 20*, a 22 6 , et le groupe un seul processes 20 
EfXJiS h me Prem ' ere caract6 "Stique importante de Invention, la file d'attente unique figure 1 5) 

eoa^au nZ,r T.Z T ^ PM * fi ' eS d ' a " en,e D * P ,us P r6cise enc ° fe - '« "ombie de tTes Xente es 
d-finl ^ 9 ! dS processeurs - soj t trois files d'attente dans I'exemple de la figure 2 5 a 5 chaque S 
d attente etant associee a run des groupes de processeurs G a G 1 r QUe f " e 

IKI. ^ unetr n aUUe aSP6Ct imPOrtam - Ch3qUe ^ Tl * T ~ " ^ 3 - e particu- 

Ee £ aSSOCiati ° nS S ' ef,eC,Uent ^ C — - * ^ ^ en regard de ,a figure 4, A 

SSI? Le t° iX ? n ° mbre de 9rOUPSS de Poseurs, et done du nombre de files elementaires depend de nom 
breux parametres dans un systeme multiprocesseur de caracteristiques donnees. Generalement cette repartftio ^ 

S^^ 8 , k f tenUe f r ^ Ca,CU ' S Prda,ab,eS ' mais P» experimentation et la mesure. ' " "* 

E^SrHt^ h l B inVention est d 'a"gmenter les performances globales du systeme par le biais d'une meilleu 
une ShalTnS an V ! pfOCeSSeurs ^iduete. Aussi, les experimentations et tests precites consisterom dans 
sLnnn! J h 1 * P™ 9 ™™"" de test et de r * f ° rence - dits "benchmark" selon la termino ogte anqlo 

dStTn,!' r f ! 6XeCUter Paf lQ SySt6me - La ^P artition des Processeurs en groupes asSl des fi£ 
d attente elemental donnant les meilleurs resultats. d'un point de vue performances esf retenuTI ce stode 2 

SLa? 5 ™r, decrire ae ,a5 °- p,us a6wiis - - — • * «» * p—js ssl 

!S„, ? epSn * n '' COmme " 3 4,6 indit,u6 ' tes *» systems muWprocesseun* du ,ype "NUMA" at 

[0051] Le systeme 1 est divise en modules, par exemple en deux modules, M 0 et M comme represente sur la fiourp 
olll^rZ 011 ^ T, ,C T UeY ChaqU6 m ° dule ' H ^ M V comprend un no^^.S^ e X^.2i« 
a quatre . 200 a 203 et 21 0 a 21 3, respect.vement. En effet, lorsque le nombre de processeurs en parallele auomente 
nom'bre n^ZZ^T ^ au 9 mentent ™ «**>°« sensib.ement lineairement, pui laS^SZ te 
cZnZ^L P ^T 6SQnXe 6n 9 ' naral UPe ValeUr ° p,irnale - Les P^esseurs de chaque module 1 e M s'Jnt 

z^c^senz; rs tsar 5 et chaque moduie no^r 

. 0 1 ' s moau,e s, M 0 et M v et leurs memoires associees, Mem* et Mem fnrmont 

chacun un sous-systeme de type "SMP" precite. Les modules. M 0 et M„ son. relies entre etxpa L eTun 

rmST ? ^ S ' Cl 81 C2 - qUI ' cons,ituent u " Prolongement des bus internes precites 

f^n I h I 1 C ° nf0lt a ' Sement qUe " Par eXemple ' 13 ,ec,Ure ou r(icri,ure d ' une donne e de ou dans une memoire externe 
faopo^ , U a meme ZZT^r •* " m ° dU ' e - 86 P3r 006 des Performances du syXe par 

, TT° n ent,erement exe cu.ee a I'interieur d'un meme module. Les performances sont eqaTemen 

^r:i^:£T q z srr i,er d ' un modu,e a rautre par ,e - - — f r 
^.9-^^^ r^; 1 ^ ~ - 

cStio^^ 
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U «iliser un a.gorithme bien connu du type "round robi^ c est-Jdi re 4 Z de*/ u SfT" 2^ ? ^ °" PeUt 

et fe nombre de taches a trailer somSevds L tunmlt^ f ° P "'^ q " S ' 9 n ° mbre de files d ' atten,e 

rnn™ a,,^ 1, *ysieme ae i art connu presentant les memes ressources informatiaues 

mII^h T v S6COnd m0de dS r « a,isation . ^e de realisation prefere. susceptible *ZS u «variantes 

de realisation, dans toutes ses var StTs les d tn ? " ^ Comprendre ^pendant que, se.on ce second mode 
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aussi calculi & chaque fois qu'une instruction d'execution est initiee 

l ™*?l h ^ vartebla c/w/po^ est une variable composite comprenant des constantes (coef charoe CPU pt 

[0092] Ces dispositions presentent de nombreux avantages, notamment les suivants : 

a/ -tea permanent de repondre tres rapidement a des modifications egaiement rapides du comportement du sys- 

?«uS5SS^^K : " pourrait inclure d ' autres variab,eSi par exemp,e ,,6qui,ibra9e de Ia ^ d * 

d/ le desequilibre dans des modules materiels est automat iquement pris en charge fc'est-a-dire I* n„ mhro a 

processors est signStive " 6m °' re "* 13 m6me ^ ,OUS ' 6S m0du ' 9S et seule < a ^ des 

SfonlacTr^ 

fonction du nombre dt.i sateu ^^S^fcSSZ^ET t ^ ? T (Par ^ ^ en 

LL Mt XZ^,»S* ( ;^r as T e5 ' vi0a *■ qu '" <Jeviem hac * " ,a che '*»' ^ 
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fesqul S ZZ^^ * *** ^ ^ * ^ ^ etre «" * parmi 



1/ I'affinite avec un processeur. c'est-a-dire le fait que la derniere distribution de la tache s'est effectuee sur ce 
procssseur , 

2/ I'affinite avec un module, dans le cas d'une architecture de type "NUMA", c'est-a-dire le fait que la derniere 
distribution de la tflche s'est effectuee sur ce module ; aerniere 
3/ la priorite affectee & une tache ; 
4/ la localisation de la tache ; 
io 5/ le fait que la t£che ait deja ete "aidee" ; 

6/- le-fait que-le processus soitmono-tache ; - " 

7/ la quantite de memoire accedee par la tache ; 
8/ I'utilisation du processeur ; et 
9/ la duree de vie de la tache. 



15 



20 



25 



30 



35 



40 



45 



50 



55 



06 C °, nC ! rne ' e ,acteur * <P riorit ^ « est preferable de "sauter" les tache de plus haute priorite c'est- 
a-d.re les prem.eres taches dans la file d'attente "aidee". En effet. la probability est grande qu'el.es soient prises en 
charge par un processeur local, du fait precisement de ,a haute priorite qui leur est asLiee, avant qu'elle pui se etre 
tra ee par le processeur eloigne. ^utilisation d'un seuil predetermine semble etre une solut on approor ee pour ce t e 

q r:;t p n~^^ 

[0112] La determination d'une valeur de seuil est importante. En effet, si la valeur de seuil est trop basse c'est-a- 
d. re que le nombre de taches sautees est trop faible, le mecanisme d'aide se trouve alors souvent en confli avec le 
mecanrsrne standard de distribution des taches, c'est-a,dire le mecanisme commun a .'art connu. En sens contra^ 

sizitssitr v trop hau,ei aucune ,ache ne pourra §,re Me et ,e m6canis ™ d,aide ^ 

[0113] De facor , pref erentielle, pour Stre aussi independant que faire ce peut de la charge de travail on met en 
oeuvre un precede auto-adaptatif, par exemple le suivant • 

LS nom t bre i de ' acn « s saiJtees est fixe a une valeur comprise entre le nombre de processeurs et le nombre 

S£T- . ■ h S SnSemb,e de fi ' e d ' at,entS C6t,e Valeur est '""ementee d'une unite chaque fois que a 

tache choiate pour etre "a.dee" est. soil deja verrouillee, soil n'est pas a I'etat executable. Cette valeur est decremented 
d'une un,te chaque fo.s qu'aucune tache n'est trouvee, lorsque le nombre maximumde taches a ba.aye es.Tuperieu" 
a la moitie du nombre de taches executables. s>upeneur 

[0115] Le nombre maximum de taches a balayer est fixe a une valeur comprise entre I'unite et le nombre de taches 
executables dans I'ensemble de file d'attente. Cette valeur est increments d'une unite chaque fois Xcunetche 
n est trouvee ou chaque fo,s que la tache choisie se trouve dans le dernier quart des taches telayees (tlches de plus 

oT rt £Z2£ St T V T T d f fementee d ' une unite cha ^ e «* q«- 'a tache choisie se trouve dans ,e premier 
quart des taches balayees (taches de plus hautes priorites) 

E * L h • ! aCteUr 4/ j localisa,ion ) est - a P™* ™ facteur tres important. Cependant, ce facteur est generalement 
segmented fJZS ^ enVir ° nnement da ' UN,X "' la * 'a tache so" co'nue pa! 

K15«* E - C h "? C ° nC , eme 18 ,acteur 5/ ' on P«"t generalement admettre que, si une tache a deja ete "aidee" elle 
P^jaresrderdan^ 

en terme de degradation de performances. H oouieuse 

, E n° e qUi . t COncerne 16 facteur 11 ' « s ' a 9*t egalement d'un facteur important, mais qui ne peut etre determine 
a.sement. Deux cnteres permettent d'arriver a une approximation raisonnable : Determine 

a/ la taille memoire utilisee par le processus ; et 

b/ Tinteractivite" de la tache, ce critere etant defini par le fait qu'une tSche sort souvent "dormante" ou non. 

[0119] Le critere b/ peut Stre obtenu h partir d'un comptage du nombre de fois ou elle est a I'etat "dormant" ce Qui 
peut se denver de statistiques generalement disponibles ' Ce qL " 

Slrnl ^Sl^TTl enfin ' e ,aCt6Ur 9A ''' SSt aiSS de oom P rendre "'est pas utile de tenter de prendre en 
charge les taches de fa.ble duree de vie. En effet, la plupart d'entre elles disparaissent a court terme 

Lil II. ^ ,enan ! 1 COm P te d f e ,out ou P artj e de ces differents facteurs, il est possible de determiner quelle tache doit 
etre se ecttonnee dans une hie d'attente, en definissant un cout indMduel associe a chaque facteur et d'en deduce 
un cout global assoce a une tache particuliere. On peut, pour ce faire construire une table a deux entrees facteu s 
- couts. La tache presentant le cout global le plus faible est se.ectionnee, e'est-a-dire cell, causan. la degradation 
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' milS ^ * 113311 tr ° UVer ' a d ' atten,e d ' indice arbitraire V P° ur laquella le parametre \\ClP - a5\\ est 
- migrer ce processus vers I'ensemble de file tfattente le moins charge 5 V et 
s ' J^ re e ^ r ^ e ig te "lgP^sentatif du desequilibre des deux ensembles de file d'attente, soil A5 X = aD x - 

Sts ^ V6CteUr ^ Chaf9e C ° mpOSite est Un vec,eur a trois dimensions. En effet, il depend des parametres 

io - charge du processeur ; 

charge de la memoire ; et • 
priorite. 



75 
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[0135] Les deux prem.ers parametres dependent a leur tour de la configuration materielle et logicielle precise du 
systeme cons,dere : nombre de processors, tai.le de la memoire, nombre de pages memoire fibres, etc La determi- 
nate de cas parametres est commune a Tart connu et obtenue par des calculs cLsiques, biens connus de moZe 

xi 6 Param8,re " Pri0rit '" 6St ° btenU 3 Panir de la m °y enne des P riorrtas tehees aux different taches 
[0136] Theonquement, la determination de ,a charge dun ensemble de file d'attente est donnee par a somme de s 
charges de processus. Ma,s pour acce.erer cette determination, on la derive directement a panir de statistics qe 
st ° ck6es H dans ,a d * donnees de cet ensemble. La charge depend de nouveau d trot 

paramelres : charge du processeur, charge de la memoire et priorite. 

[01 37] La determination de la charge composite moyenne peut etre obtenue a partir de la relation suivante : 

ACL=HZ (3) 

P ' 

Ji^dSeme 8 "* * C ° mP ° Si,e du ensembls de fi,s « P ^re total d'ensembles de 

[01 38] Le desequilibre moyen peut etre determine a partir de la relation suivante . 



35 



73, - AD ' ~ ACL,) 



(4) 



40 S° 1 , t H erm,natlon d " cout associe a une operation de migration peut etre obtenue en considerant que le cout 
40 pnnapa est du a la m.grat.on de pages de memoires, dans un environnement de type "UNIX" (ou 1 "Jacci a des 
pages elo.gnees) et au cout lie au deplacement d'une tache d'un ensemble de fife d'attente a un autre 
[0140] Une approximation de ('estimation du cout est obtenue directement par le nombre de pages associees au 
EST t 6 ^ tScheS d8Vant §,re d< * bc6es - Dans un environnement autre que TenvTonnement 

4s rn J ' t,tG P39e de m6m ° ife " d0it Mre rem P ,ac6 P ar un * entile equivalente. nvironnement 
dl^rvfr m ° deS d l d6termination des Parametres impliques ne sont precises qu'a litre d'exemple, pour fixer les 
idees. D autres alternates ex.stent et sont a la portee de I'homme de metier 

[0142] S. on se repone de nouveau a la figure 8, la courbe C c illustre schematiquement I'allure de I'amelioration des 
K k? S raPP ° rt * ' ^ C ° nnU (C ° Urbe °> Ce P enda nt, .'experience mon.re que, dans le cas genS S 
so '° TT TT- P , af " Ce " e ° b,enUe Par ' a deuxi6me variante est P eu infante. Ceci est du essentfe lern^nt 

Z f qUe f d6plaCem T l PhySiqUe d6S tSCheS entre fHes d ' attente im P |iQUe un co " ™ negligeable, ce mSme s 
ce.u.-c. nes pas general.se. conformement aux dispositions preferential qui viennent d'etre rappe.ees rZ au 
contra.re select* On reservera cette variante du precede selon .'invention a une architecture de type "NUMA ' car 
dans le cas d'une arch.tecture classique de type "SMP», I'amelioration des performances n'est pas significative Talons 

SIS uhJ?T° ^ 06 r 60 ^ 6, 00 C ° nS,ate 3is6ment que a «e«nt bien les buts qu'el.e s'est fixes 

2£I2 n , . ? P6ndan1 ,,inVentbn n ' 6St pas limit6e aux seu,s exem P |es de realisanons explici.ement 

decnts, notamment en relation avec les figures 2 et 4 a 8. »* H .K.i«emeni 
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^ ^ p un aesoiis processeurs dudil groupe de processeurs associe a la file d'attente elemental vide 

lo^f ,1 5 «*« ' e T diM,ion 1 6 > «o °° qu'il comp-sna „„e SKpe consislant , , es(er „ 
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ANNEXE AU RAPPORT DE RECHERCHE EUROPEENNE 
RELAT1F A LA OEMANDE DE BREVET EUROPEEN NO. 



EP 00 40 0849 



^IK^ cte la famine de brevets relays au* documents brevets cites dans le rapport de 

Lesdte members soot corneous au fichier irtformatique de I'Offlceeuropeen das brevets a la date du 

Los renseignemerrts foumis sent donnee a trtre indicatrf et n'engagent pas la responsabillle de I'Offtoe europeen des brevets. 



28-07-2000 



Document brevet cite 
au rapport de recherche 


Date de 
publication 




Membre(s) 6e la 
famine de brevets) 


1 Date* 
1 publication 


FR 2740579 A 


30-04-1997 


JP 
JP 
US 


2940450 B 
9120389 A 
5881284 A 


25-08-1999 
06-05-1997 
09-03-1999 


EP 0750255 A 


27-12-1996 


AU 
AU 
CA 
JP 


701540 B 
5601496 A 
2179483 A 
9237215 A 


28-01-1999 
09-01-1997 
24-12-1996 
09-09-1997 


US 5459864 A 


17-10-1995 


JP 
JP 


2587195 B 
6250983 A 


05-03-1997 
09-09-1994 



Pour tout renseignement conoemant cette annexe : voir journal Official da |«Office europeen des brevets, No. 12/82 
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